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Beschreibung 

Multiprozessorsystem mit gemeinsamem Speicher 

5 Die Erf indung bezieht sich auf ein Multiprozessorsystem mit gemeinsamem Speicher entsprechend dem 

Oberbegriff des Patentanspruches 1. 

Derartige Muitiprozessorsysteme sind bereits bekannt, z.B. aus Giloi: "Rechnerarchitektur", Springer-Ver- 
lag, Berlin, 1981, insbesondere Kapitel 10.1 und 10.2, sowie Hwang-Briggs: "Computer Architecture and Par- 
allel Processing", Mc Graw-Hill Book Company, New York, 1984, insbesondere Abschnitte 1.3.3, 7.1.2, 7.1.3 

10 und 7.2. 

Muitiprozessorsysteme zeichnen sich gegenuber Monoprozessorsystemen durch hohere Verarbeitungs- 
leistungen, Zuverlassigkeit und Verf ugbarkeit aus. Auch sind sie an unterschiedliche Leistungsanforderungen 
leichter anpaSbar. Die Hardwareorganisation solcher Muitiprozessorsysteme wird dabei in erster Linie durch 
das die Speichereinheiten und die Prozessoren miteinander verbindende Netzwerk oder Kommunikationssy- 

15 stem bestimmt, das als gemeinsames Bussystem Oder als Kreuzschienenverteiler ausgebildet sein kann oder 
aber durch getrennte Zugange zum gemeinsamen Speicher gebildet wird. 

Hinsichtlich der Erweiterbarkeit unterliegt ein gemeinsames Bussystem den geringsten Einschrankungen, 
jedoch sind hieruber keine unabhangigen Obertragungswege gleichzeitig herstellbar, sondern nur nacheinan- 
der. Andererseits erfordern Multi-Port-Speicher und Kreuzschienenverteiler eine auf einen Maximalausbau 

20 des Systems bezogene Vorleistung, so da& sich Muitiprozessorsysteme mit geringem Ausbaugrad nicht ko- 
stengunstig herstellen lassen. 

Aufgabe der Erf indung ist es, ein Multiprozessorsystem zu schaffen, da& ausgehend von einem Mono- 
prozessorsystem ohne groRe Vorleistung in einem vorgegebenen Rahmen erweiterbar ist und da& die gleich- 
zeitige Herstellung von unabhangigen Obertragungswegen und damit eine leistungssteigernde Parallelarbeit 

25 bei hoher Zuverlassigkeit mit nur geringem Aufwand zula&t. 

Diese Aufgabe wird durch die kennzeichnenden Merkmale des Patentanspruches 1 gelost 
Die neue Losung beruht auf der Verwendung von an sich bekannten MaBnahmen der 
Nachrichtenvermittlungs-und -ubertragungstechnik in neuartiger Kombination und angepa&tan die Besonder- 
heiten eines Multiprozessorsystems mit gemeinsamem Speicher. So sind die einzelnen Einheiten jeweils stern- 

30 formig uber bidirektionale Obertragungskanale an einen Verbindungsknoten angeschlossen, und die Verbin- 
dungsknoten sind uber Verbindungskanale in Form von ebenfalls bidirektionalen Obertragungskanalen mitein- 
ander verbunden die so das Sternnetz eines jeden Verbindungsknotens erweitern. 

In jedem Verbindungsknoten konnen im Gegensatz zu einem Bussystem mehrere Obertragungswege 
gleichzeitig durchgeschaltet werden. AuBerdem konnen ausgehend von einem Monoprozessorsystem mit ei- 

35 nem Prozessor, einer Speichereinheit und einem Ein-/Ausgabesystem an einem Verbindungsknoten durch 
Vorhaltung weiterer Obertragungskanale als Verbindungskanale zu anderen Verbindungsknoten Erweiterun- 
gen im Rahmen eines Multiprozessorsystems ohne gro&e Vorleistung vorgenommen werden, da weitere Ver- 
bindungsknoten erst im Rahmen der Erweiterung aufzuwenden sind. 

Weiterhin arbeiten die Verbindungsknoten unabhangig voneinander ohne zentrale Aufsicht Sie dienen le- 

40 diglich dazu, einen der jeweils ankommenden Obertragungskanale mit einem der abgehenden Obertragungs- 
kanale zu verbinden, wobei allein die in einer uber einen ankommenden Obertragungskanal eintreffenden 
Steuerinformation enthaltene Zieladresse fur die Auswahl des jeweils abgehenden Obertragungskanales ma&- 
gebend ist. Der Aufwand fur den einzelnen Verbindungsknoten bleibt daher auch bei Vorhaltung von Obertra- 
gungskanalen fur die Erweiterung im Rahmen eines Multiprozessorsystems mit vorgegebenem Maximalaus- 

45 bau verhaltnisma&ig gering. 

Die Verbindungsknoten brauchen dabei nicht vollstandig vernetztzu sein, sondern die einzelnen Obertra- 
gungswege konnen sich auch uber eine vorgegebene maximale Anzahl von Verbindungsknoten erstrecken. 
Das vermindert einerseits die Anzahl der benotigten Verbindungskanale ohne Einschrankung der Verkehrs- 
moglichkeiten zwischen den einzelnen Verbindungsknoten und ermoglicht andererseits bei einer vorgegebe- 

so nen Anzahl von an einem Verbindungsknoten angeschlossenen bidirektionalen Verbindungskanalen eine grd- 
liere Anzahl von vernetzbaren Verbindungsknoten. 

Nun arbeiten derartige Kommunikationsnetze nicht immer verklemmungsfrei, wenn nicht besondere MaR- 
nahmen ergriffen werden, d.h. eine uber einen Verbindungskanal ubertragene Nachricht kann an einem Ver- 
bindungsknoten nicht weitergeleitet werden, weil der benotigte Verbindungskanal bereits belegt ist, dieser aber 

55 seine Nachricht ebenfalls nicht absetzen kann usw., so daB geschlossene Warteschleifen entstehen, die das 
Netz blokkieren. In solchen Fallen sind die Verbindungsmoglichkeiten zwischen den Verbindungsknoten ein- 
zuschranken und die Obertragungswege entsprechend einem vorgegebenem Wegeschema herzustellen, bei 
dem alle zugelassenen Obertragungswege zwischen zwei Verbindungsknoten des Netzes uber entsprechend 
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einem schleifenf reien Abhangigkeitsgraphen vorgegebene Ketten von Verbindungskanalen verlaufen. 

AuEerdem ist es bekannt, Verbindungsnetze mit ursprunglich geschlossenem Abhangigkeitsgraphen in 
solche mit schleifenf reiem Abhangigkeitsgraphen zu uberfuhren, indemdie vorhandenen physikalischen Ver- 
bindungskanale ais virtuelle Obertragungskanaie in vorgegebener Rangfolge betrieben werden - man siehe 
5 z.B. IEEE Transactions on Computers, Vol. C-36, No. 5, May 1987, Seiten 547 - 553. 

Aber trotz Verwendung von schleifenf reien Netzen ohne den Betrieb der physikalischen Verbindungska- 
nale als virtuelle Kanale kann es in Multiprozessorsystemen mit gemeinsamem Speicher zu Systemverklem- 
mungen kommen, da die an die Verbindungsknoten angeschlossenen Speichereinheiten bei der Anforderung 
von Lesedaten durch eine operative Einheit als Transferpuffer wirken, die zwei Obertragungswege starr init- 
io einander koppeln. Dieser Tatsache tragt die Erfindung dadurch zusatzlich Rechnung, daB unabhangig von 
dem fur das Netzwerk der Verbindungsknoten maSgebenden Wegeschema alle Obertragungskanaie als vir- 
tuelle Kanale betrieben werden und durch Speichereinheiten gekoppelte Obertragungswege uber virtuelle 
Obertragungskanaie eines unterschiediichen, aber innerhalb desselben Obertragungsweges jeweils dessel- 
ben Prioritatsranges verlaufen. 
15 Weiterbildungen der Erfindung ergeben sich aus den Unteranspruchen, wobei die Unteranspruche 2 bis 

4 und 12 sich auf die Wahl der verschiedenen Prioritatsrange fur die virtuellen Obertragungskanaie abhangig 
von dem mit einer zu ubertragenden Nachricht auszuf uhrenden Auftrag, die Unteranspruche 5 bis 11 sich auf 
Auswirkungen bei der Verwendung privater Cachespeicher fur die Prozessoren und damit verbundene Steue- 
rungsablaufe, die Unteranspruche 13 bis 20 sich auf durch unterschiedliche Obertragungsverfahren bedingte 
20 Steuerungsablaufe bei der Herstellung eines Obertragungsweges und die Unteranspruche 21 bis 25 sich auf 
Besonderheiten der Netzstruktur fur die Verbindungsknoten beziehen. 

Einzelheiten der Erfindung seien nachfolgend anhand derZeichnung naher erlautert Imeinzelnenzeigen 
FIG 1 ein allgemeines Strukturbild eines Multiprozessorsystems mit gemeinsamem Spei- 

cher, 

25 FIG 2 ein Strukturbild eines Multiprozessorsystems gemafc der Erfindung, 

FIG 3 bis FIG 8 auf das Strukturbild von FIG 2 bezogene DarsteUungen der Kanalabhangigkeitsgra- 

phen fur verschiedene Kommunikationsphasen zwischen den einzelnen Einheiten zur 
Erlauterung der Notwendigkeit von virtuellen Kanalen, 
FIG 9 eine vereinfachte Darstellung des vollstandigen Abhangigkeitsgraphen mit den bend- 

30 tigten Prioritatsrangen, 

FIG 10 - einen Verbindungsknoten mit den benotigten virtuellen Kanalen fur die einzelnen Ein- 

heiten und die Verbindungskanale, 
FIG 11 eine Obersichtstabelle der zwischen den einzelnen Einheiten als Quellen und Senken 

des Verbindungsnetzwerkes benotigten virtuelle Kanale mit ihrem Prioritatsrang in 
35 Anlehnung an FIG 9 und 10, 

FIG 12 ein Abfaufdiagramm fur die Nachrichtenubertragung, 

FIG 13 ein Blockschaltbild eines Verbindungsknotens, 

FIG 14 ein Blockschaltbild einer Auswahleinrichtung fur die ankommenden verschiedenen 

virtuellen Kanale eines physikalischen Kanals gemaB FIG 13, 
*o FIG 15 ein Ablaufdiagrammfurdie Wegedurchschaltung in einem Verbindungsknoten gemaB 

FIG 13. 

FIG 16 bis FIG 18 Netzwerkkonf igurationen fur Multiprozessorsysteme mit 2, 4 und 8 Verbindungskno- 
ten in einem binaren n-dimensionalen System und 
FIG 19 ein Blockschaltbild einer Auswahleinrichtung in Anlehnung an die von FIG 14 fur die 

45 Netzwerkkonf igurationen von FIG 16 bis FIG 18. 

FIG 1 zeigt das Strukturbild eines herkommlichen Multiprozessorsystems, bestehend aus mehreren Ver- 
arbeitungseinrichtungen in Form von verschiedenen Prozessoren P1 bis P4, die uber ein als Bussystem aus- 
gebildetes Vermittlungsnetzwerk VN auf die einzelnen Speichereinheiten M1 und M2 des gemeinsamen Spei- 
chers MM zugreifen konnen. Die Anzahl der Speichereinheiten M... und der Verarbeitungseinrichtung P... kann 

50 dabei beliebig groB sein, jedoch kann zu jedem Zeitpunkt nur ein Obertragungsweg zwischen zwei Einheiten 
uber das Bussystem des Vermittlungsnetzwerkes VN hergestellt werden. 

FIG 2 zeigt demgegenuber ein Strukturbild fur ein Multiprozessorsystem gemaR der Erfindung, bei dem 
das Vermittlungsnetzwerk VN aus Verbindungsknoten VK1 und VK2 besteht, die durch bidirektionale Verbin- 
dungskanale K als bidirektionale Obertragungskanaie CH...(v) miteinander verbunden sind und an die alle Ein- 

55 heiten M..., CPU.... IOP... in gleicher Weise uber bidirektionale Obertragungskanaie CH...(v) angeschlossen 
sind. wobei gema& der Erfindung alle Obertragungskanaie als virtuelle Kanale betrieben werden. Die Anzahl 
der Verbindungsknoten VK... im Vermittlungsnetzwerk VN kann ebenfalls beliebig groB und die Beschaltung 
der einzelnen Verbindungsknoten VK... mit Speichereinheiten M und operativen Einheiten in Form von Pro- 
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zessoren CPU... und EirWAusgabesystemen IOP... wahlweise unterschiedlich sein. 

Ausgehend von einem Verbindungsknoten VK.. mit einer Oder zwei Speichereinheiten M... f einem Prozes- 
sor CPU... und einem Ein-/Ausgabesystem IOP... als Monoprozessor kann in Verbindung mit einem gleichartig 
beschaltetem Verbindungsknoten auf ein Biprozessorsystem als kleinstes Multiprozessorsystem erweitert 
werden, das durch hinzufugen weiterer Verbindungsknoten VK... zu einem Multiprozessorsystem der ge- 
wunschten GroRe ausgebaut werden kann. Als Vorleistung fur einen konzipierten Maximalausbau mit n Ver- 
bindungsknoten VK... ist lediglich eine ausrelchende Anzahl von Verbindungskanalen K... an jedem Verbin- 
dungsknoten VK... und eine entsprechend ausgelegte Durchschaltesteuerung zu erbringen. So lassen sich 
z.B. bei drei an einem Verbindungsknoten VK... angeschlossenen Verbindungskanalen K... Multiprozessorsy- 
steme mit bis zu 8 Verbindungsknoten und entsprechend vielen Prozessoren CPU realisieren, wobei an jedem 
Verbindungsknoten VK... gleichzeitig mehrere Ubertragungswege durchgeschaltet werden konnen. 

FIG 3 zeigt einen der Struktur des Multiprozessorsystems von FIG 2 entsprechenden Kanalabhangigkeits- 
graphen. Jeder Kreis entspricht einem Ubertragungskanal CH...(v), der entsprechend den eingetragenen Ver- 
bindungslinien mit den anderen Ubertragungskanalen in Beziehung steht Die einzelnen Ubertragungskanale 
sind dabei gleichlautend wie die zugehdrigen Einheiten M..„ P... und die Verbindungskanale K... bezeichnet, 
wobei die jeweils zweite Ubertragungsrichtung eines jeden bidirektionalen Ubertragungskanales mit also 
z.B. Mr, gekennzeichnet ist. Da zurVermeidung von Konsistenzproblemen die Speichereinheiten M... bei einer 
Anforderung gesperrt bleiben, bis die Anforderung erledigt ist, also z.B. die angeforderten Daten abgesetzt 
sind, sind der jeweils ankommende und abgehende Obertragungskanal, z.B. MV und M1 durch parallele Stri- 
che mit einem Richtungspfeil in der Mitte verbunden, urn die starre Kopplung zwischen dem ankommenden 
Obertragungsweg fur die Lese anforderung und dem abgehenden Ubertragungsweg fur die angeforderten Le- 
sedaten anzuzeigen. 

Unterstellt man ausgehend von einem derartigen Abhangigkeitsgraphen, dafc beide Speichereinheiten M1 
und M2 eine Leseanforderung erhalten haben und dafc wahrend der Bereitstellungsphase fur die jeweils ge- 
wunschten Daten der Prozessor P2 eine Anforderung uber den Kanal K' an die Speichereinheit M1 und der 
Prozessor P1 eine Anforderung uber den Kanal K an die Speichereinheit M2 richtet, dann konnen diese An- 
forderungen von beiden Speichereinheiten nicht angenommen werden. Beide Anforderungen laufen daher auf 
eine Sperre und halten den jeweiligen Kanal K' bzw. K belegt, so daG beide Speichereinheiten M1 und M2 die 
vorher angeforderten Daten nicht mehr absetzen konnen. Die jeweiligen Sperren SP sind durch Querstriche 
am jeweils gesperrten Ubertragungskanal angedeutet. Die bestehende geschlossene Schleife laBt sich nur 
aufbrechen, wenn die einzelnen physikalischen Kanale K und K' mitzwei virtuellen Kanalen betrieben werden, 
wie es in FIG 4 mit den virtuellen Kanalpaaren v0/v1 und v07v1' angedeutet ist, urn den Anforderungsweg vom 
Datentransferweg Azu trennen. 

Ahnliche Verklemmungen konnen sich bei Verwendung von privaten Cachespeichern CA... an den einzelnen 
Prozessoren ergeben. FIG 5 zeigt einen gegenuber dem Abhangigkeitsgraphen von FIG 4 entsprechend erweiter- 
ten Abhangigkeitsgraphen, bei dem entsprechend FIG 2 zwischen Prozessoren CPU... und Ein-/Ausgabesyste- 
men IOP... unterschieden wird. Kann in diesem Falle eine an eine Speichereinheit M... gerichtete Leseanfor- 
derung nicht von diesem unmittelbar erledigt werden, weil die angeforderten Daten sich in einem der 
Cachespeicher CA... befinden, dann muRdie Speichereinheit M... die Anforderung an den jeweils zustandigen 
Cachespeicher CA... weiterleiten, der die Daten dann entweder direkt Oder aber uber die zustandige Speicher- 
einheit M... zur anfordernden Einheit. z.B. IOP..., sendet. Da auch in diesem Fall ein Cachespeicher CA... belegt 
bleibt, bis die angeforderten Daten abgesetzt sind, ergibt sich wie bei den Speicherelementen M... eine starre 
Kopplung zwischen dem jeweils ankommenden und dem jeweils abgehenden Ubertragungsweg, was in glei- 
cher Weise durch parallele Verbindungsstriche und einem mittleren Richtungspfeil gekennzeichnet ist. 

Unterstellt man in diesem Fall, daB das Ein-/Ausgabesystem IOP2 eine Leseanforderung an die Speicher- 
einheit M2 gestellt hat, die dann an den Cachespeicher CA1 uber den virtuellen Anforderungskanal v1 # wei- 
tergeleitet worden ist - ausgezogener und gestrichelter Ubertragungsweg - dann bleibt die Speichereinheit M2 
vorubergehend gesperrt. Eine weitere Anforderung des Ein-/Ausgabesystems IOP1 an diese Speichereinheit 
M2 lauft daher auf eine Sperre und halt den virtuellen Kanal v1 belegt. Will nun der Cachespeicher CA1 die 
von der Speichereinheit M2 angeforderten Lesedaten absetzen, so kann er dies nicht uber den virtuellen Kanal 
v1. Wiederum ergibt sich eine geschlossene Schleife im Abhangigkeitsgraphen, die nur vermieden wird, wenn 
der Datentransferweg B vom Cachespeicher CA1 zur Speichereinheit M2 bzw. zur anfordernden Einheit IOP2 
bei zusatzlicher Benachrichtigung der zustandigen Speichereinheit M2, urn die bestehende Sperre wieder auf- 
zuheben, auf einen vom Anforderungsweg uber den virtuellen Kanal v1 getrennten virtuellen Kanal vO gefuhrt 
wird. Es muS also zwischen der Anforderung des Cachespeichers zur Herstellung eines Ubertragungsweges 
fur den Datentransfer und der Anforderung eines Prozessors fur Lesedaten aus einer Speichereinheit M... ge- 
trennt werden. 

Weitere Verklemmungsmoglichkeiten ergeben sich gemafc FIG 6, wenn beispielsweise beide Prozessoren 
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CPU1 und CPU2 jeweils eine Leseanforderung an die Speichereinheiten M1 bzw. M2 am eigenen Vermitt- 
lungsknoten VK1 bzw. VK2 gestellt haben und beide Speichereinheiten die Anforderung an den Cachespeicher 
CA2 bzw. CA1 am jeweils anderen Verbindungsknoten VK2 bzw. VK1 weiterleiten mussen. Erfolgen vor der 
jeweiligen Weiterleitung dann von den Ein-/Ausgabesystemen IOP1 und IOP2 weitere Leseanforderungen an 

5 die Speichereinheiten M2 bzw. M1 in den jeweils anderen Verbindungsknoten VK2 bzw. VK1 , dann laufen beide 
Anforderungen auf eine Sperre an den Speichereinheiten M2 bzw. M1 t durch die die virtuellen Obertragungs- 
kanale v1 bzw. vV belegt gehalten werden. Dadurch wird wiederum die Weiterleitung der jeweiligen Anforde- 
rung von der Speichereinheit M1 bzw. M2 an den die gewunschten Daten aufweisenden Cachespeicher CA2 
bzw. CA1 gesperrt, wenn diese ebenfalls uber den virtuellen Anforderungskanal v1 bzw. v1' geleitet wird und 

w .es daher zur Schleifenbildung kommt. 

Bei dem gemafc FIG 7 gezeigten Abhangigkeitsgraphen sei unterstellt, da& beide Cachespeicher CA1 und 
CA2 aufgefordert worden sind, Lesedaten bereitzustellen. Ergehen in dieser Phase Lesedatenanforderungen 
von beiden Ein-/Ausgabesystemen IOP1 und IOP2 an die Speichereinheit M2 bzw. M1 im jeweils anderen Ver- 
bindungsknoten VK2 bzw. VK1 , die von den dortigen Speichereinheiten M2 bzw. M1 nicht erledigt werden kon- 

15 nen, und daher als Anforderungen an die Cachespeicher CA1 bzw. CA2 weitergeleitet werden, bevor die an- 
geforderten Lesedaten von den Cachespeichern zur Obertragung gelangt sind, dann laufen die uber die vir- 
tuellen Kanale vO' bzw. vO geleiteten Anforderungen der Speichereinheiten M2 bzw. M1 auf eine Sperre und 
sperren gleichzeitig die Verbindungskanale vO bzw. vO' fur das Absetzen der Lesedaten aus den 
Cachespeichern CA1 bzw. CA2. 

20 In gleicher Weise kommt es zu einer Schleifenbildung und damit zu einer Verklemmung, wenn gemaR FIG 

8 beide Ein-/Ausgabesysteme IOP1 und IOP2 eine Anforderung an die Speichereinheiten M2 bzw. M1 im je- 
weils anderen Verbindungsknoten VK2 bzw. VK1 gestellt haben, die zur Weiterleitung der Anforderung an den 
Cachespeicher CA2 bzw. CA1 am jeweils eigenen Verbindungsknoten f uhren. Treffen in der Bereitstellungs- 
phase der Cachespeicher CA... uber die virtuellen Obertragungskanale vO bzw. vO' weitere Anforderungen fur 

25 diese Cachespeicher CA2 bzw. CA1 ein, dann laufen diese jeweils auf eine Sperre am jeweiligen 
Cachespeicher CA... und diese konnen wegen der andauernden Belegung der virtuellen Kanale vO bzw. vO' 
ihre Daten nicht mehr absetzen. 

In Bezug auf die anhand von FIG 5 bis FIG 8 erlauterten Beispiele kann man daher zusammenfassend 
feststellen, da& zur Vermeidung von Verklemmungssituationen virtuelle Ubertragungskanale mit wenigstens 

30 drei verschiedenen Prioritatsrangen zur Bildung der benotigten Obertragungswege fur den Nachrichtenaus- 
tausch erforderlich sind, namlich ein Prioritatsrang fur die Obertragung von Anforderungen der operativen Ein- 
heiten CPU..., IOP... an die Speichereinheit M..., einen weiteren Prioritatsrang fur die Weiterleitung von Lese- 
datenanforderungen an den zustandigen Cachespeicher CA..., wenn die Daten in der zustandigen Speiche- 
reinrichtung M... nicht greifbar sind, und wenigstens ein dritter Prioritatsrang fur den Datentransfer von den 

35 Speichereinheiten M... zu den anfordernden operativen Einheiten CPU..., IOP... bzw. von den Cachespeichern 
CA... uber die jeweilige Speichereinheit M... zur anfordernden Einheit. 

Allgemein gilt, da£ die Anzahl der insgesamt erforderlichen virtuellen Prioritatsrange von der Anzahl der 
fur die Erledigung eines Auftrages insgesamt nacheinander herzustelienden Obertragungswege und der je- 
weilige Prioritatsrang eines Obertragungsweges von der Art des jeweils zu erledigenden Auftrages abhangig 

40 ist. 

Fur den Fall, da& die Lesedaten von einem Cachespeicher CA... geliefert und erst an die zustandige Spei- 
chereinheit M... ubertragen werden, bevor sie an die operative Einheit CPU... oder IOP... weitergeleitet werden, 
kann fur beide Transferwege der gleiche Prioritatsrang gewahlt werden, da durch die jeweilige Sperrung der 
Speichereinheit M... gegen die Annahme weiterer Auftrage die Daten in jedem Fall von dieser angenommen 

45 und weitergeleitet werden konnen. Weitere Voraussetzung fur den verklemmungsfreien Betrieb ist weiterhin, 
daB die anfordernden operativen Einheiten CPU... oder IOP... angeforderte Daten jederzeit annehmen k6nnen 
und somit immer offene Endpunkte im Abhangigkeitsgraphen bilden. 

Urn unnotige Verzogerungen zu vermeiden, werden Datentransfers zweckmaBig uber die virtuellen Uber- 
tragungskanale mit dem hochsten Prioritatsrang und Anforderungen der operativen Einheiten CPU... oder 

so IOP... an eine Zieleinheit, die gegebenenfalls immer eine Speichereinheit M... sein kann, als Primara lift rage 
zum Schreiben oder Lesen von Daten immer uber virtuelle Kanale des niedrigsten Prioritatsranges geleitet 
Wie bereits angedeutet, konnen bei Verwendung von privaten Cachespeichern die Daten aus diesen zu- 
nachst an die zustandige Speichereinheit M... und dann an die anfordernde operative Einheit ubertragen wer- 
den, oder aber die Daten werden vom Cachespeicher CA... jeweils direkt an die anfordernde Einheit weiter- 

ss geleitet Im letzteren Falle ist dann eine zusatzliche Benachrichtigung der zustandigen Speichereinheit M... 
hinsichtlich der sichergestellten Obertragung erforderlich, damit die bestehende Sperre wieder aufgehoben 
werden kann. Fur die Obertragung dieser Nachricht konnen ebenfalls virtuelle Obertragungskanale des hoch- 
sten Prioritatsranges oder ein gesondertes Netzwerk verwendet werden. Ausgangspunkt dieser Nachricht 
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kann au&erdem der Cachespeicher CA... selbst Oder aber die anfordernde operative Einheit CPU... oder IOP... 
sein. 

FIG 9 zeigt einen aus den Abhangigkeitsgraphen von FIG 5 bis FIG 8 abgeleitete vereinfachte Darstellung 
des vollstandigen Abhangigkeitsgraphen fur die moglicherweise nacheinanderzurAbwicklung einesAuftrages 
aufzubauenden Ubertragungswege in einem Multiprozessorsystem gemafc der Erfindung. 

Anforderungen gehen dabei immer von einer der operativen Einheiten CPU... oder IOP..., zusammenfas- 
send mit D bezeichnet, als Quellpunkt aus und werden in der virtuellen Ebene v2 mit der niedrigsten Prioritat 
v=2 entweder direkt oder uber zwischengeschaltete Verbindungskanale K bzw. K*, deren Anzahl im Prinzip 
keine Rolle spielt, zu einer Speichereinheit M... als Endpunkt dieses ersten Obertragungsweges gelettet Die 
Speichereinheit ist dann Quellpunkt fur einen weiteren Ubertragungsweg in einer hoheren virtuellen Ebene, 
und zwar in der hochsten virtuellen Ebene vO, wenn die Daten in der Speichereinheit greifbar sind und unmit- 
telbaran die anfordernde Einheit D als Endpunkt ubertragen werden konnen, oder in einer virtuellen Zwischen- 
ebene v1 , wenn zunachst der Ubertragungsweg zu einem Cachespeicher CA... als Endpunkt - gegebenenfalis 
wieder direkt oder uber zwischengeschaltete Verbindungskanale K - aufgebaut werden muQ. Als Quellpunkt 
leitet der angesteuerte Cachespeicher CA... dann in einen weiteren Ubertragungsweg uber, wobei Endpunkt 
im einen Falle unmittelbar die anfordernde Einheit D als offenes Ende des Graphen oder, wie dargestellt, zu- 
nachst die anfordernde Speichereinheit M... ist, von der dann ein weiterer Ubertragungsweg zur anfordernden 
Einheit D fuhrt Da die Speichereinheit M... wegen der bestehenden Sperre gegen andere Anforderungen in 
diesem Falle ebenfalls wie ein offenes Ende des Abhangigkeitsgraphen wirkt, ist ein erneuter Wechsel der vir- 
tuellen Prioritatsebene nicht erforderlich. Fur den gesamten Ubertragungsweg vom Cachespeicher CA... uber 
die Speichereinheit M... zur anfordernden Einheit D konnen daher einheitlich virtuelle Ubertragungskanale 
desselben Prioritatsranges, namlich der hochsten Prioritatsebene vO, verwendet werden. 

Aus dem vollstandigen Abhangigkeitsgraphen von FIG 9 ist weiterhin ersichtlich, da& nicht alle physika- 
lischen Ubertragungskanale an einem Verbindungsknoten VK in gleichem Umfange als virtuelle Ubertragungs- 
kanale CH...(v) betrieben werden mussen. Alle operativen Einheiten D ohne private Cachespeicher CA... be- 
notigen abgehend und ankommend je nur einen virtuellen Kanal in der Ebene v2 bzw. vO. Alle operativen Ein- 
heiten mit Cachespeicher CA... benotigen zusatzlich einen ankommenden Kanal in der Ebene v1 und einen 
abgehenden Kanal in der Ebene vO, wahrend fur jede Speichereinheit M... je ein ankommender virtueller Kanal 
in der Ebene v2 und vO sowie je ein abgehender Kanal in der Ebene v1 und vO erforderlich ist. Lediglich die 
Verbindungskanale K... zwischen den Verbindungsknoten VK... erfordern in jeder Ubertragungsrichtung je ei- 
nen Kanal in jeder der virtuellen Ebenen v2, v1 und vO. FIG 10 zeigt die entsprechende Verteilung der beim 
Anschlufc der einzelnen Einheiten und Verbindungskanale an einen Verbindungsknoten benotigten virtuellen 
Kanale CH...(0) bis CH...(2). 

Eine entsprechende Ubersichtstabelle mit den gemaB der vertikalen Auf listung als Quellpunkte SP... und 
gemaB der horizontalen Auslistung als Endpunkte TP... an einen Verbindungsknoten angeschlossenen Einhei- 
ten und Verbindungskanale ist in FIG 11 wiedergegeben. Als Einheiten konnen in Frage kommen globale Spei- 
chereinheiten GSU..., Ein-/Ausgabesysteme IOP..., Prozessoren CPU ohne Cachespeicher, Prozessoren mit 
Cachespeicher CA/CPU... sowie Speichereinheiten M.... Dabei sind direkte Verbindungen zwischen ankom- 
menden und abgehenden Ubertragungskanalen derselben Einheit oder desselben Verbindungskanales sowie 
zwischen den Speichereinheiten M... ausgeschlossen, wie die waagerechten Striche in den einzelnen Feldern 
andeuten, wahrend dieZiffern in den ubrigen Feldern die einzelnen Prioritatsrange v=0, 1 Oder 2 entsprechend 
den virtuellen Ebenen vO, v1 und v2 der virtuellen Obertragungskanale CH...(v) angeben und zwarzeilenweise 
ankommend und spaltenweise abgehend mitBezug auf die jeweilige Einheit oder den jeweiligen Verbindungs- 
kanal K.... 

Als Ubertragungs- und Vermittlungsverfahren fiir den Nachrichtenaustausch zwischen den einzelnen Ein- 
heiten und Verbindungsknoten konnen im Prinzip die ublichen Verfahren verwendet werden - man siehe hierzu 
auch Computer Networks, Vol. 3 (1979), Seiten 267 - 286, insbesondere Abschnitt I. Introduction und IEEE 
Transactions on Computers, Vol. C-36, No. 5, May 1987, Seiten 547 - 553, insbesondere Abschnitt I. 
Introduction. 

Besonders geeignet sind dabei Verfahren mit Unterteilung einer Nachricht in gleich lange Teile mit gemein- 
samem Nachrichtenkopf, wobei der Nachrichtenkopf zur Steuerung der Wegedurchschaltung und die zuge- 
horigen Nachrichtenteile jeweils nacheinander ausgesendet werden. Kann der Nachrichtenkopf einer Nach- 
richt in einem Verbindungsknoten nicht unmittelbar weitergeleitet werden, weil der benotigte abgehende Kanal 
auf dem Weg zur Zieleinheit belegt ist, wird die Aussendung gestoppt. Der Nachrichtenkopf und die nachfol- 
genden Nachrichtenteile bleiben dann entlang des bereits durchgeschalteten Obertragungsweges gespei- 
chert, bis nach Freiwerden des belegten Obertragungsgliedes die Ubertragung fortgesetzt werden kann, oder 
aber die Aussendung wird von der sendenden Einheit insgesamt wiederholt. Beide Verfahren benotigen zur 
Steuerung ihres Ablaufes neben dem das Ende einer Nachricht kennzeichnenden Endesignal zusatzlich 
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Steuerungssignale, z.B. um die Nachrichtenaussendung anzuhalten Oder wieder fortzusetzen Oder aber urn 
eine Wiederholung der gesarnten Nachricht anzufordern. ohne daR damit die sendende Einheit bereits Ge- 
wiBheit daruber erlangt, ob die ausgesandte Nachricht auch am Zielort angekommen ist Dies muSte gesondert 
uberwacht oder signalisiert werden. Besonders vorteilhaft erscheint daher ein abgewandeltes neuartiges Ver- 

5 fahren, bei dem ausgehend von dem zuletzt genannten Verfahren mit Sendewiederholung nur das Erreichen 
des Endpunktes eines Obertragungsweges dem jeweiligen Ausgangspunkt durch eine Ruckmeldung bestatigt 
wird. Trifft diese Ruckmeldung nicht bis zu einem vorgegebenen Zeitpunkt nach Beginn der Nachrichtenaus- 
sendung ein, dann wird die gesamte Nachricht automatisch wiederholt. Die vorgegebene Wartezeit la&t sich 
dabei sehr einfach von der Laufzeit einer Nachricht zum vorgegebenen Zielpunkt ableiten. Ist die Nachricht 

w ausreichend lang und der Obertragungsweg kurz, kann das Ruckwartssignal ohne weiteres bereits eintreffen, 
bevor das Endesignal gesendet worden ist. AuRerdem wird insgesamt nur ein Ruckwartssignal bendtigt, und 
es sind in den Verbindungsknoten keine Speicher fur eine langer andauernde Zwischenspeicherung erforder- 
lich. 

FIG 12 zeigt einen entsprechenden Obertragungsablauf. Die mit DAT bezeichnete Zeile gibt die zu uber- 

75 tragende Nachricht wieder, die aus einem Nachrichtenkopf NK und beispielsweise den Nachrichtenteilen 1 bis 
8 besteht Der Nachrichtenkopf NK wird jeweils von einem gesonderten Anforderungssignal REQ(v) und der 
jeweils letzte Nachrichtenteil von einem Endesignal EOT begleitet. Mit der ersten Aussendung S1 der Nachricht 
beginnt die Uberwachungszeit T D . Trifft die Ruckmeldung ACK(v) nicht rechtzeitig ein, erfolgt automatisch eine 
Wiederholung S2 der gesarnten Nachricht Es kann dabei mehrere solcher Wiederholungen geben, bis die 

20 Ruckmeldung ACK(v) eintrifft. Damit nun eine Nachricht nicht zu oft wiederholt werden mud, bis sie ihr Ziel 
erreicht, werden alle im Rahmen eines herzustellenden Ubertragungsweges bereits belegten virtuellen Ober- 
tragungskanale jeweils solange belegt gehalten, bis die Ruckmeldung auf dem Wege zur sendenden Einheit 
eingetroffen ist. Der Obertragungsweg braucht also bei jeder Nachrichtenwiederholung nicht jeweils vom An- 
fangspunkt aus neu hergestellt zu werden. 

25 FIG 13 zeigt das Blockschaltbild eines entsprechend arbeitenden Verbindungsknotens. Gezeigt sind im 

linken Teil zwei ankommende physikalische Obertragungskanale CH1 und CH2 sowie zwei abgehende phy- 
sikalische Obertragungskanale CH3 und CH4 im rechten Teil, wobei lediglich die physikalische Verbindung 
zwischen den Ubertragungskanalen CH1 und CH3 mit den zugehorigen Obertragungsleitungen gemafc FIG 
12 ausf uhrlicher dargestellt ist. 

30 Alle ankommenden Obertragungskanale CH... werden mit ihren Obertragungsleitungen auf ein Empfangs- 

register EREG1 gefuhrt, und von jedem Empfangsregister fuhrt ein Verbindungsweg zu jedem abgehenden 
mdglichen Obertragungskanal, genauer gesagt zu einem Eingang E-CH... eines Auswahlschalters, z.B. MUX3, 
der jedem abgehenden Kanal, z.B. CH3, individuell zugeordnet ist und an dessen Ausgang jeweils ein Sen- 
deregister, z.B. SREG3, angeschaltet ist. Beide Register werden periodisch wiederholt im Abstand voneinan- 

35 dergetaktet, sodaSjede uber einen ankommenden Obertragungskanal ankommende Teil nachricht, Nachrich- 
tenkopf Oder Nachrichtenteil, daher nur kurzzeitig in den Registern EREG1 und SREG3 nacheinander gespei- 
chert wird, um bei einem Nachrichtenkopf NK zwischenzeitlich die Einstellung des Auswahlschalters, z.B. 
MUX3, zu ermoglichen, wenn der gewunschte abgehende Kanal, z.B. CH3, frei ist 

Ist die Sendedauer fur die einzelnen Teilnachrichten kleiner als die Zeit bis zur Einstellung des Auswahl- 

<o schalters MUX... und damit bis zur Durchschaltung des Verbindungsweges zum Senderegister SREG..., dann 
kann durch dem Empfangsregister EREG... nachgeschaltete und im gleichen Rhythmus getaktete, nicht ge- 
zeigte Zwischenregister eine entsprechende Verzogerung in der Weiterleitung der Nachrichten erreicht wer- 
den. 

In entgegengesetzter Richtung besteht ein gleichartiger aufgebauter Verbindungsweg fur die Ruckmel- 
45 dung ACK(v) mit einem Empfangsregister, z.B. A-EREG3, einem Auswahlschalter, z.B. A-MUX1, und einem 
Senderegister, z.B. A-SREG1, so dafc eine uber einen abgehenden Kanal, z.B. CH3, ankommende Ruckmel- 
dung ACK(v) jedem ankommenden Kanal, z.B. CH1, zugeleitet werden kann. 

Die Ermittlung des jeweils durchzuschaltenden Verbindungsweges erfolgt durch eine jedem ankommen- 
den virtuellen Kanal CH...(v) zugeordnete Auswahleinrichtung CHSEL-ST(v...) zur Ermittlung des den jeweils 
so zu belegenden abgehenden virtuellen Kanal einschlie&enden Wegesignales CHSELij(v) in Verbindung mit ei- 
ner alle diese Wegesignale CH(i)(j)(v) auswertenden Prioritatssteuerung PRIO-ST. 

Diese Auswahleinrichtungen CHSEL-ST... werden jeweils durch eine das Eintreffen einer Anforderung 
REQ(v) uberwachenden Freigabeeinrichtung EN-ST, z.B. eine bistabile Kippstufe je Prioritatsrang v, zur Aus- 
wertung des zugehorigen Nachrichtenkopfes NK freigegeben. 
55 Bei j abgehend belegbaren Ubertragungskanalen konnen von jedem ankommenden Obertragungskanal 

ausgehend maximal j verschiedene Wegesignale fur jede virtuelle Ebene, z.B. vO bis v2, erzeugt werden. Je- 
dem dieser Wegesignale entspricht ein Einstellsignal REQ(i)(j) von denen bei jeweils i zu einem Ausgangskanal 
durchschaltbaren ankommenden Kanalen sich jeweils i Einstellsignale auf denselben Ausgangskanal und da- 
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mit denselben Auswahischalter, z.B. MUX3, beziehen. Diese Gruppen von jeweils auf denselben abgehenden 
Kanal CHj bezogenen Einstellsignalen REQ(i)j werden jeweils einem, dem zugehorigen Auswahischalter, z.B. 
MUX3, zugeordneten Einstellgenerator. z.B. SEL-G3, zugef fihrt, der daraus die Einstellinformation, z.B. SEL1 , 
fur den Auswahischalter ableitet und speichert, bis das Endesignal EOT der Nachricht am Ausgang des zuge- 
horigen Senderegisters, z.B. SREG3, erscheint. 

Die physikalische Durchschaltung wird damit wieder freigegeben, nicht jedoch die Belegung des abge- 
henden virtuellen Kanals CH...(v). Die Auf reenter halt ung dieser Belegung wird durch die Einrichtung DIS-ST 
gesteuert, die alle von den ubrigen ankommenden virtuellen Kanalen ausgehenden und denselben virtuellen 
abgehenden Kanal CH...j(v) betreffenden Wegesignale durch entsprechende Sperrsignale DIS(i)j(v) spent, 
wobei die jeweils auf einen ankommenden Kanal CHi bezogenen Sperrsignale DISi(j)(v) der jeweils zugeho^ 
rigen Auswahleinrichtung CHSEL-STv... zugeleitet werden. Diese Sperrsignale werden in einfacher Weise aus 
der vom Einstellgenerator SEL-G... gelieferten Einstellinformationen SEL... in Verbindung mit dem vom wei- 
tergeleiteten Anforderungssignal REQ(v) angezeigten Prioritatsrang v abgeleitet und bleiben dann wirksam, 
bis ein von der ankommenden Rfickmeldung ACK(v) abgeleitetes Endesignal ENDj(v) eintrifft. Bei der Wei- 
terleitung der Ruckmeldung an den jeweils ankommenden Ubertragungskanal wird auBerdem die Freigabe- 
einrichtung EN-ST wieder zurfickgestellt, so daB das bisher gfiltige Wegesignal CHSELij(v) entfallt und damit 
auch der ankommende Kanal wieder freigegeben wird. 

FIG 14 zeigt die fur einen ankommenden Verbindungskanal, z.B. CH1 = Kx, benotigten Auswahleinrich- 
tungen CHSEL-STv... fur die drei moglichen virtuellen Kanale des Prioritatsranges v = 0, 1 und 2. Alle drei 
Auswahleinrichtungen bestehen aus einem Eingangsregister REG(v) von denen eines bei Eintreffen eines 
Nachrichtenkopfes NK in Folge des gleichzeitigen Anforderungssignales, z.B. REQ1(v), die Ansteuerinforma- 
tion FLIT... fibernimmt, die die Adresse ZVKAD des Zielverbindungsknotens und die Adresse UNAD der Ziel- 
einheit enthalt. Mit der Einrichtung VK-DEC wird anhand der Adresse VKAD des enreichten Verb indungsk no- 
tens jeweils Gberprfift, ob ein anderer Verbindungsknoten anzusteuern und welcher abgehende Verbindungs- 
kanal, z.B. Ky Oder Kz, zu belegen ist, Oder ob eine der Einheiten am eigenen Verbindungsknoten anzusteuern 
ist. Im letzteren Fall ist wegen der entsprechend der Tabelle von FIG 11 gegebenen Verkehrsmoglichkeiten 
ein zusatzlicher Adressendecoder UN-DEC nur fur den Prioritatsrang v = 0 erforderlich, da in den anderen 
Fallen nur ein Cachespeicher CA/CPU... Oder eine Speichereinheit M... am eigenen Verbindungsknoten be- 
troffen sein kann. 

Fur alle moglichen Ausgange der Einrichtungen VK-DEC und UN-DEC ist weiterhin ein nachgeschaltetes 
UND-Glied UND vorgesehen, daB das jeweilige Wegesignal CHSEL... liefert, wenn nicht die Erzeugung durch 
ein entsprechendes Sperrsignal DIS... verhindert wird. AuBerdem werden die Wegesignale CHSEL fur Einhei- 
ten M..., CA/CPU..., IOP... oder GSU... am erreichten Verbindungsknoten unterdruckt, wenn einer der abge- 
henden Verbindungskanale, z.B. Ky oder Kz, zu belegen ist. Dadurch wird verhindert, daB die Adresse UNAD 
irrtfimlich ausgewertet wird, bevor derZielverbindungsknoten erreicht worden ist. Weiterhin kann zwischen den 
Ausgangen der Einrichtung VK-DEC und den zugehorigen UND-Gliedern UND jeweils eine Umsteuereinrich- 
tung UST vorgesehen sein, die bei Storung oder Nichtvorhandensein eines ausgewahlten Verbindungskana- 
les, z.B. Ky, anhand der zusatzlichen Informationen STAT eine Umsteuerung auf einen anderen Kanal, z.B. 
Kz, ermoglicht. Freigegeben werden die so ermittelten Wegesignale CHSEL... schlieBlich durch ein vom Ein- 
gangssignal, z.B. REQ1(v), verzogert abgeleitetes Signal ACT(v). 

Damit ergibt sich der in FIG 15 dargestellte Steuerungablauf: Das parallel zu einem Nachrichtenkopf NK 
fiber einen Ubertragungskanal CHi eintreffende Anforderungssignal REQi(v) fuhrt. wenn kein Sperrsignal 
DIS... dies verhindert, mit einem Ubernahmetakt Tl zum Wegesignal CHSELij(v) fur die Durchschaltung zum 
abgehenden Kanal CHj. LaBt die Prioritatssteuerung PRIO-ST die Durchschaltung zu, wird mit einem Steuer- 
takt TS das Einstellsignal REQij und davon abhangig die Einstellinformation SELi erzeugt und gespeichert. 
Aufgrund des am Ausgang des zugehorigen Auswahlschalters MUXj wirksam werdenden we iterg el eiteten An- 
forderungssignales REQj(v) werden dann mit einem Folgetakt TSLdes Taktes TS die Sperrsignale DIS(k)j(v) 
fur alle ubrigen ankommenden Ubertragungskanale CH(k) auBer f Or k = i erzeugt und gespeichert, so daB von 
diesen keine Wegesignale CHSEL(k)j(v) fur den belegten abgehenden virtuellen Kanal CHj(v) erzeugt werden 
konnen. Nach Durchschaltung des Verbindungsweges zum abgehenden Kanal CHj erfolgt mit einem Ausga- 
betakt TO die Ubernahme der fiber ein Zwischenregister we iterg eleiteten Teilnachrichten, die dann aufeinan- 
derfolgend nach Eintreffen fiber die ankommenden Datenleitungen DATi fiber die abgehenden Datenleitungen 
DATj weitergeleitet werden. Analoges gilt f fir die Begleitzeichen REQi(v) -> REQj(v) und EDTi EOTj. Mit der 
Weiterleitung des Endesignales EOTj wird das Einstellsignal SELi wieder unwirksam und die physikalische 
Verbindungsdurchschaltung durch RESREQj wieder aufgehoben. Dagegen wird die Belegung des virtuellen 
Kanales mit Eintreffen der Ruckmeldung ACKj(v) in ruckwartiger Richtung, das als ACKi(v) weitergeleitet wird, 
aufgehoben, indem zunachst mit ENDj(v) die Sperrsignale DIS(k)j(v) und anschlieBend das Wegesignal 
CHSELij(v) fiber die Freigabesteuerung EN-ST mit dem Signal ENDi(v) durch Beendigung des Signales 
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ACT...(v) unwirksam geschaltet werden (FIG 13). 

Wie bereits erwahnt, besteht eine weitgehende Gestaltungsmoglichkeit bezuglich des Verbindungsnetzes 
zur Verbindung der Verbindungsknoten untereinander und der Zuordnung der Verbindungskanale zu den ein- 
zelnen Obertragungswegen - man siehe z.B. die bereits erwahnte Literaturstelle IEEE Transactions on Com- 
5 puters Oder auch Computer Architecture News, 17, 1989, No. 6, Seiten 67 bis 79 und 80 bis 90. 

Fur die Wegedurchschaltung erscheinen Netzwerke, bei denen die einzelnen Verbindungsknoten Eck- 
punkte eines n-dimensionalen boolschen Wurfels mit n-Verbindungskanalen an jedem Verbindungsknoten bil- 
den, am gunstigsten. Jeder Verbindungsknoten kann dann durch eine binare, aus jeweils n-Bits bestehende 
Adresse gekennzeichnet werden, wobei jede Bitstelle einer Koordinate und damit einem Verbindungskanal des 

10 n-dimensionaten Netzwerkes entspricht. Zur Auswahl des jeweils abgehenden Verbindungskanals werden je- 
weils die Bitstellen der Zietknotenadresse und der Adresse des jeweils erreichten Verbindungsknotens vergli- 
chen. wobei bei einer vorgegebenen Rangfolge der Bitstellen jeweils die ranghochste der voneinander abwei- 
chenden Bitstellen den auszuwahlenden Verbindungskanal bestimmt. 

FIG 16 bis FIG 18 zeigen entsprechende Netzwerke fur zwei Biprozessorsysteme (FIG 16), ein Quadro- 

15 prozessorsystem (FIG 17) und ein Oktoprozessorsystem (FIG 18), die von einem Monoprozessorsystem aus- 
gehend, dessen Verbindungsknoten als Vorleistung Anschlusse fur drei Verbindungskanale Kx, Kj, Kz auf- 
weist, durch fortlaufende Erweiterung gebildet werden konnen. Selbstverstandlich sind auch noch andere 
Netzkonf igurationen nach dem selben Bildungsschema moglich und vor allem ist die Anzahl der Dimensionen 
n nicht auf drei beschrankt. Derartige Netzwerke haben den groken Vorteil, daft fur einen verklemmungsfreien 

20 Nachrichtenaustausch im Netz keine zusatzlichen virtuelien Kanale bendtigt werden. 

FIG 19zeigtdasmitBezug auf die unterschiedlichen Konf igurationen von FIG 16 bis FIG 18 abgewandelte 
Blockschaltbild der in FIG 14 allgemein dargestellen Auswahleinrichtung CHSEL-STv... Ausfuhrlicherdarge- 
stellt sind hierbei nur die Einrichtungen VK-DEC und UST. Die Zielknotenadresse ZVKAD besteht in diesem 
Falle aus 3 Bits x, y und z mit fallender Rangfolge. Diese werden durch exklusive ODER-Glieder EXx bis EXz 

25 mit den entsprechenden Bitstellen der Adresse VKAD des entscheidenden Verbindungsknotens verglichen. 
Stimmt wenigstens eine der Bitstellen nicht uberein, ist ein abgehender Verbindungskanal K... zu belegen, wo- 
bei entsprechend FIG 14 jeweils der der ranghochsten Bitstelle zugeordnete Verbindungskanal die Auswahl 
gewinnt und die anderen sperrt. Soil beispielsweise, wie in FIG 18 entsprechend den verstarkt gezeichneten 
Verbindungskanalen ein Obertragungsweg von einer Einheit am Verbindungsknoten "011" zu einer Einheit am 

30 Verbindungsknoten "100" hergestellt werden, so ergibt sich unter der Voraussetzung, dad kein Verbindungs- 
kanal gestort ist (STAT =1), folgender Entscheidungsablauf: Am Ursprungsknoten "011" wird wegen 1 * 0 bei 
der Bitstelle x der Kanal Kx belegt und somit der Verbindungsknoten "111" erreicht Hier wird wegen 0 * 1 an 
der Bitstelle y der Kanal Ky belegt und uber diesen der Verbindungsknoten "101" angesteuert, wo wegen 0 * 
1 an der Bitstelle z der Kanal Kz zum Zieiknoten "100" fuhrt, an dem alle Bitstellen der Knotenadresse VKAD 

35 mit denen der Zielknotenadresse ZVKAD ubereinstimmen. 

Ist dagegen der Kanal Ky vom Verbindungsknoten "111" zum Verbindungsknoten "101" gestort und im Ver- 
bindungsknoten "111" demzufolge das Steuerbit "STATy" nicht gesetzt, dann kommt dort der Kanal Ky nicht 
zum Zuge, sondern wegen 0 * 1 an der Bitstelle z der Kanal Kz zum Verbindungsknoten "110". Hier gilt dann 
0 * 1 an der Bitstelle y, so dad man uber den Kanal Ky zum Zieiknoten "100" gelangt. Bei mehreren Ubertra- 

40 gungswegen zwischen zwei Verbindungsknoten im Netz ist also auch bei einem gestorten Verbindungskanal 
im Sollubertragungsweg in einfacher Weise eine Umlenkung moglich. 

In analoger Weise ist, wie aus FIG 19 weiterhin ersichtlich, eine Umlegung der von den exklusiven ODER- 
Gliedern EX... ausgewahlten Kanale abhangig von der bei einem geringeren Ausbaugrad gegebenen Konfi- 
guration entsprechend FIG 16 oder FIG 17 moglich. So laRt sich bei einem Quadroprozessorsystem mit dem 

45 Steuerbit Q die Umschaltung bewirken, indem trotz Gleichheit an der Bitstelle x mit Bezug auf die Verbindungs- 
knoten "000" und "011" bzw. "010" und "001° die gleichzeitig entstehenden Auswahlsignale fur die Kanale Ky 
und Kz durch das UND-Glied U1 zur Kennzeichnung des Kanals Kx umgeleitet werden, wahrend in den an- 
deren Fallen der direkt ausgewahlte Kanal Ky oder Kz zum Zuge kommt. In analoger Weise ermoglicht das 
Steuerbit AP in Verbindung mit einem Auswahlschalter AW1, dad der bei dem rechten Teil von FIG 16 darge- 

50 stellten Konf iguration immer ausgewahlte Kanal Ky zur Belegung des Kanals Kz beim Priontatsrang v = 0 fuhrt, 
wahrend der bei der im linken Teil von FIG 16 dargesteltten Konf iguration standig ausgewahlte Kanal Kz durch 
das Steuerbit Bl in Verbindung mit einem Auswahlschalter AW2 zur Belegung des Kanals Ky beim Priontats- 
rang v = 1 oder 2 fuhrt. Dadurch ist auch bei einem Biprozessorsystem durch Verwendung von zwei statt eines 
einzigen Verbindungskanaies mehr Sicherheit gegen Ausfall eines Verbindungskanates gegeben. Anderer- 

55 seits bringt die dann mogliche Aufteilung der benotigten virtuelien Kanale auf zwei physikalische Verbindungs- 
kanale einen hoheren Nachrichtendurchsatz mit sich. 

Bei Verwendung von Netzen fur die Verbindungsknoten, die zur Sicherstellung eines verklemmungsfreien 
Betriebes ohnehin einen Betrieb der physikalischen Verbindungskanale als virtuelle Ubertragungskanale er- 
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fordern, sind dagegen die gemaS der Erfindung auftragsbezogenen Prioritatsrange den einzelnen virtuellen 
Verbindungskanalen zu uberlagern als waren sie physikalische Verbindungskanale. 



Patentanspruche 

1. Multiprozessorsystem mit gemeinsamem Speicher, der in mehrere individuell ansteuerbare Speicherein- 
heiten unterteilt ist, auf die die einzelnen Prozessoren uber ein Kommunikationssystem zum Austausch 
von Daten und Steuerinformationen zugreifen konnen, 

dadurch gekennzeichnet, 

- dad das Kommunikationssystem (VN) aus mehreren Verbindungsknoten (VK...) besteht, an die jeweils 
wenigstens ein Prozessor (CPU...) und/oder eine Speichereinheit (MIL.) und/oder eine EirWAusgabe- 
einheit (IOP...) uber individuelle bidirektionale Ubertragungskanale (CH...) angeschlossen sind, 

- daR die einzelnen Verbindungsknoten (z.B. VK1) entsprechend einer vorgegebenen Netzstruktur 
uber bidirektionale Verbindungskanale (K...) als Ubertragungskanale (CH...) mit anderen Verbin- 
dungsknoten (z.B. VK2) des Kommunikationssystems (VN) verbunden sind, so daR Clbertragungs- 
wege zwischen einem jeden der Verbindungsknoten und einem beliebigen zweiten Verbindungskno- 
ten als Ziel im Kommunikationssystem uber einen Oder mehrere in Reihe arbeitende Ubertragungs- 
kanale anhand der in der jeweiligen Steuerinformation enthaltenen Zieiadresse herstellbar sind, 

- dali zur Vermeidung von Systemverklemmungen den einzelnen physikalischen Obertragungskana- 
len (CH...) virtuelle Ubertragungskanale (CH...(v)) mit unterschiedlichem Prioritatsrang (z.B. v = 2, 
1 Oder 0) zugeordnet werden und fur die Herstellung einer Verbindung zwischen zwei Einheiten an 
verschiedenen Verbindungsknoten jeweils ein einziger zugelassener Ubertragungsweg entlang ei- 
ner entsprechend einem schleifenf reien Abhangigkeitsgraphen vorgegebenen Kette der gebildeten 
virtueilen Ubertragungskanale verwendet wird und 

- daB der jeweils zwischen zwei Einheiten (z.B. M1 und P2) herzustellende Ubertragungsweg uber 
virtuelle Ubertragungskanale desselben Prioritatsranges (z.B. v = 0) verlauft. 

2. Multiprozessorsystem nach Anspruch 1, 

dadurch gekennzeichnet, dafc die Wahl des jeweiligen Prioritatsranges (v) der einen Ubertragungsweg 
bildenden virtuellen Ubertragungskanale (CH...(v)) allein von der Art des mit der Herstellung des jewei- 
ligen Ubertragungsweges bezweckten Auftrages an die Zieleinheit (z.B. M...) abhangig ist 

3. Multiprozessorsystem nach Anspruch 2, 

dadurch gekennzeichnet, da& bei durch einen primaren Auftrag (z.B. Lesen) an eine Zieleinheit (z.B. 
M...) veranlalMen Folgeauftragen fur weitere Zieleinheiten (z.B. CA..., CPU...) zur Erledigung des prima- 
ren Auftrages fur jeden dadurch bedingten neuen Ubertragungsweg jeweils virtuelle Ubertragungskanale 
eines nach vorgegebenem Schema geanderten Prioritatsranges verwendet werden. 

4. Multiprozessorsystem nach Anspruch 3, 

dadurch gekennzeichnet, da& primare Auf t rage (Lesen, Schreiben) immer nur von operativen Einheiten 
(Prozessor CPU..., Ein-/Ausgabeeinheit IOP...) an Speichereinheiten (M...) des verteilten Speichersy- 
stems gerichtet und uber virtuelle Ubertragungskanale des niedrigsten Prioritatsranges (z.B. v = 2) ge- 
leitet werden, wahrend fur jeden weiteren Ubertragungsweg zur Erledigung eines Folgeauftrags jeweils 
virtuelle Ubertragungskanale eines hoheren Prioritatsranges (z.B. v = 1 oder v = 0) verwendet werden. 
wobei die Lesedaten anfordernden operativen Einheiten (CPU..., IOP...) jederzeit zur Entgegennahme der 
Lesedaten bereit sind. 

5. Multiprozessorsystem nach Anspruch 4, 

dadurch gekennzeichnet, daB bei Verwendung von den Prozessoren (CPU...) vorgeschalteten individu- 
ellen Cachespeichern (CA...) ein primarer Auftrag zum Lesen von Daten aus einer der Speichereinheiten 
(z.B. M2), die sich in einem individuellen Cachespeicher (z.B. CA1) befinden, einen ersten die Lesean- 
forderung an den zustandigen und jederzeit unterbrechbaren Cachespeicher (CA1) weiterleitenden Fol- 
geauf trag und wenigstens einen, die gewunschten Daten an die anfordernde Einheit (z.B. IOP2) weiter- 
leitenden Folgeauf trag auslost und daft die jeweils einen Leseauftrag annehmende Speichereinheit (M2) 
bis zur Sicherstellung der Ubertragung der Daten an die anfordernde Einheit (IOP2) fiir die Annahme wei- 
terer Primarauf trage gesperrt wird. 
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6. Multiprozessorsystem nach Anspruch 5, 

dadurch gekennzeichnet, daB die an die anfordernde Einheit (z.B. IOP2) weiterzuleitenden Daten vom 
zustandigen Cachespeicher (z.B. CA1 ) im Rahmen eines gesonderten Folgeauf trages erst an die zustan- 
dige Speichereinheit (z.B. M2) und anschlieBend von dort an die anfordernde Einheit (IOP2) weitergeleitet 
5 werden, daB die den Leseauftrag ausf uhrende Speichereinheit (M2) jeweils nach Sicherstellung der Zu- 

ordnung der Daten fur die anfordernde Einheit (IOP2) fur die Entgegennahme weiterer Primarauftrage 
freigegeben wird und daB fur die letzten beiden Obertragungswege virtuelle Obertragungskanale glei- 
chen Prioritatsranges (z.B. v = 0) verwendet werden. 

w 7. Multiprozessorsystem nach Anspruch 5, 

dadurch gekennzeichnet, daB die an die anfordernde Einheit (z.B. IOP2) weiterzuleitenden Daten vom 
zustandigen Cachespeicher (z.B. CA1) unmittelbar an die anfordernde Einheit (IOP2) weitergeleitet wer- 
den und daB die den zugehorigen Leseauftrag ausf uhrende Speichereinheit (z.B. M2) durch eine geson- 
derte Nachricht von der Obertragung der Daten an die anfordernde Einheit (IOP2) unterrichtet und auf 

is Grund dessen die bestehende Sperre fur die Entgegennahme weiterer Primarauftrage wieder aufgeho- 

ben wird. 

8. Multiprozessorsystem nach Anspruch 7, 

dadurch gekennzeichnet daB die gesonderte Nachricht in Form eines Folgeauf trages an die zustandige 
20 Speichereinheit (z.B. M2) gesendet wird und dad fur diesen Obertragungsweg virtuelle Ubertragungska- 

nale (CH...(v)) desselben Prioritatsranges (z.B. v = 0) wie fur den Obertragungsweg zur Weiterleitung der 
Daten an die anfordernde Einheit (z.B. IOP2) verwendet werden. 

9. Multiprozessorsystem nach Anspruch 7, 

25 dadurch gekennzeichnet, daB die gesonderte Nachricht uber ein gesondertes Netzwerk an die zust§n- 

dige Speichereinheit (z.B. M2) gesendet wird. 

10. Multiprozessorsystem nach Anspruch 8 oder 9, 

dadurch gekennzeichnet, daB die gesonderte Nachricht von dem die Daten zur anfordernden Einheit 
30 (z.B. IOP2) weiterleitenden Cachespeicher (z.B. CA1) ausgesendet wird. 

11. Multiprozessorsystem nach Anspruch 8 oder 9, 

dadurch gekennzeichnet, daB die gesonderte Nachricht von der die Daten empfangenden anfordernden 
Einheit (z.B. IOP2) ausgesendet wird. 

35 

12. Multiprozessorsystem nach einem der Anspruche 4 bis 11, 

dadurch gekennzeichnet, daBalle Datentransfers im Rahmen von Folgeauf tragen uber virtuelle Kanale 
(CHi(v)) des hochsten Prioritatsranges (z.B. v = 0) abgewickelt werden. 

40 13. Multiprozessorsystem nach einem der Anspruche 1 bis 12, 

dadurch gekennzeichnet daB jede auf einem virtuellen Obertragung ska nal (z.B. CHi(v)) an einem Ver- 
bindungsknoten (VK...) ankommende Nachricht in einen dem virtuellen Kanal zugeordneten Pufferspei- 
cher ubernommen, anhand der mitgefuhrten Steuerinformation der zu belegende abgehende virtuelle 
Obertragungskanal (z.B. CHj(v)) ermittelt und die Nachricht weitergeleitet wird, wenn der benotigte ab- 

45 gehende Kanal (CHj(v)) f rei isL 

14. Multiprozessorsystem nach Anspruch 13, 

dadurch gekennzetchnet daB Nachrichten in Teile konstanter Lange aufgeteilt und jeder Nachricht eine 
Steuerinformation (FLIT...(v)) in der Lange eines Nachrichtenteils vorangestellt wird, wobei alle Teile kon- 
50 tinuierlich aufeinanderfolgend vom jeweiligen Ausgangspunkt eines Obertragungsweges ausgesendet 

werden und das Ende der Nachricht gesondert gekennzeichnet wird (mit EOT), und daB die einzelnen 
Teile der Nachricht anhand der vorangehenden Steuerinformation (FLIT...(v)) von Verbindungsknoten 
(VK...) zu Verbindungsknoten (VK...) uber den jeweiligen Pufferspeicher weitergeleitet werden, bis der 
Endpunkt des Obertragungsweges erreicht ist. 



55 



1 5. Multiprozessorsystem nach Anspruch 14. 

dadurch gekennzeichnet, daB bei Erreichen eines belegten Obertragungskanales die weitere Aussen- 
dung von Nachrichtenteilen und deren Weiterleitung gestoppt wird, bis der benotigte Kanal frei wird. 
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Multiprozessorsystem nach Anspruch 14, 

dadurch gekennzeichnet, da& bei Erreichen eines belegten Obertragungskanales die Aussendung der 
gesamten Nachricht vom Ausgangspunkt eines Obertragungsweges aus wiederholt wird. 

Multiprozessorsystem nach Anspruch 16, 

dadurch gekennzeichnet, daft nur das Erreichen des Endpunktes eines Obertragungsweges dem jewei- 
ligen Ausgangspunkt durch eine Ruckmeldung (ACK...(v)) bestatigt wird, daB bei Ausbleiben dieser Ruck- 
meldung bis zu einem vorgegebenen Zeitablauf nach dem Beginn einer Aussendung die Aussendung der 
gesamten Nachricht automatisch wiederholt wird und daB alle im Rahmen eines herzustellenden Ober- 
tragungsweges belegten virtuellen Obertragungskanale (CH...(v)) belegt bleiben, bis die Ruckmeldung 
(ACK...(v)) vom Endpunkt eingetroffen ist, wahrend die jeweils zugehorigen physikalischen Obertra- 
gungskanale (CH...) nur solange belegt bleiben, bis das das Ende der Nachricht anzeigende Kennzeichen 
(EOT) empfangen und an den jeweils nachfolgenden Obertragungskanal weitergeleitet ist. 

Multiprozessorsystem nach einem der Anspruche 13 bis 17, 

dadurch gekennzeichnet, daB mit der Steuerinformation (FL!T...(v)) einer Nachricht ein den Prioritats- 
rang (v) des jeweils benutzten virtuellen Obertragungskanales (CHi(v)) anzeigendes Kennzeichen 
(REQ...(v)) gekoppelt ist, daB die Zuordnung der auf den physikalischen Ubertragungskanalen (CH...) 
ubertragenen Steuerinformationen und Nachrichten zu den einzelnen virtuellen Obertragungskanalen 
(CH...(v)) siherstellt. 

Multiprozessorsystem nach Anspruch 18, 

dadurch gekennzeichnet, daB das den Prioritatsrang festlegende Kennzeichen (REQ...(v)) auf geson- 
derten Signalleitungen parallel zur Steuerinformation (FLIT...(v)) einer Nachricht ubertragen wird und als 
Anforderungssignal die Wegeauswahl im jeweils erreichten Verbindungsknoten (VK...) einleitet 

Multiprozessorsystem nach Anspruch 18 Oder 19, 
dadurch gekennzeichnet, 

- daB fur jeden in einem Verbindungsknoten (VK...) ankommenden physikalischen Obertragungskanal 
(CH...) eine der Anzahl (z.B. 3) der zugehorigen virtuellen Kanale (CH...(v) mit v = 2, 1 Oder 0) ent- 
sprechende Anzahl (3) von Auswahleinrichtungen (CHSEL-ST(v)) vorgesehen ist, von denen die je- 
weils zustandige anhand des den Prioritatsrang (v) festlegenden Kennzeichens (REQ...(v)) ausge- 
wahlt wird, 

- daB die jeweils ausgewahlte Auswahleinrichtung (z.B. CHSEL-ST(vO)) anhand der in der Steuerin- 
formation enthaltenen Zieladresse (ZVKAD, UNAD) ein virtuelles Wegesignal (CHSELij(v)) erzeugt, 
das den jeweils ankommenden Kanal (CHi(v)) und den jeweils mit diesem zu verbindenden abge- 
henden Obertragungskanal (CHj(v)) kennzeichnet, 

- daB alle aufdiese Weiseerzeugten virtuellen Wegesignale(CHSEL(i)(j)(v)) einer gemeinsamen Prio- 
ritatssteuerung (PRIO-ST) zugeleitet werden, die fur jeden abgehenden freien Obertragungskanal 
(CHj(v)) den auf diesen durchzuschaltenden ankommenden Kanal (CHi(v)) mit der hochsten Prioritat 
ermittelt und daB anhand des dann abgespeicherten Ergebnisses (REQij) der zugehorige physika- 
iische Obertragungsweg fur die Obertragung unter gleichzeitiger Sperrung aller ubrigen, denselben 
abgehenden virtuellen Obertragungskanal (CHj(v)) betreffenden Wegesignale (CHSEL(i)j(v)) f reige- 
geben wird. 

Multiprozessorsystem nach einem der Anspruche 1 bis 20, 

dadurch gekennzeichnet, daB gestorte Verbindungskanale (K...) zwischen Verbindungsknoten (VK...) 
bei der jeweiligen Erzeugung der Wegesignale (CHSEL(i)(j)(v)) in den einzelnen Verbindungsknoten be- 
rucksichtigt werden. 

Multiprozessorsystem nach einem der Anspruche 1 bis 21, 

dadurch gekennzeichnet, dafc durch verschieden mogliche Konf igurationen des Multiprozessorsystems 
bedingte Kanalzuweisungen zwischen einzelnen Verbindungsknoten durch eine von der Konf iguration ab- 
hangige Umschaltesteuerung (UST) bei der Erzeugung der virtuellen Wegesignale (CH(i)(j)(v)) in den ein- 
zelnen Verbindungsknoten (VK...) berucksichtigt werden. 

Multiprozessorsystem nach einem der Anspruche 1 bis 22, 

dadurch gekennzeichnet, daB bei mehreren physikalischen Verbindungskanalen (K...) zwischen zwei 
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benachbarten Verbindungsknoten (VK...) die unterschiedlichen virtuellen Obertragungskanale (CH...(v)) 
verschiedenen physikalischen Verbindungskanalen zugeordnet werden. 

24. Multiprozessorsystem nach einem der Anspruche 1 bis 23, 

dadurch gekennzeichnet, daft die Verbindungsknoten (VK...) Eckpunkte eines n-dimensionalen 
Boolschen Wurfels mit n Verbindungskanalen an jedem Verbindungsknoten (VK...) bilden, daft jeder Ver- 
bindungsknoten durch eine binare, aus jeweils n Bits bestehenden Adresse (z.B. 001) gekennzeichnet 
wird, wobei jede Bitstelle einer Koordinate (z.B. x bzw. y bzw. z) und damit einem Verbindungskanal (z.B. 
Kx bzw. Ky bzw. Kz) des n dimensionalen Systems entspricht, und daft zur Auswahl eines abgehenden 
Verbindungskanals im Rahmen der Herstellung eines Obertragungsweges jeweils die Bitstellen derZiel- 
adresse (z.B. ZVKAD = 1 01 ) mit der des jeweiligen Knotens (z.B. VKAD = 000) verglichen werden, wobei 
bei einer vorgegebenen Rangfolge der Bitstellen jeweils die ranghochste der voneinander abweichenden 
Bitstellen den auszuwahlenden Verbindungskanal (z.B. Kx) bestimmt. 

25. Multiprozessorsystem nach einem der Anspruche 1 bis 23, 

dadurch gekennzeichnet, daft bei Verbindungsnetzwerken (VN), bei denen die Sicherstellung eines ver- 
klemmungsfreien Verkehrs zwischen den einzelnen Verbindungsknoten (VK...) einen Betrieb der Verbin- 
dungskanale (K...) als virtuelle Kanale (K(vv)) erfordert und die Herstellung eines Obertragungsweges 
zwischen jedem moglichen Paar von Verbindungsknoten entsprechend einem vorgegebenen, auf derVer- 
wendung virtueller Verbindungskanale beruhenden Wegesuchalgorithmus erfolgt, die auftragsbezoge- 
nen Prioritatsrange (z.B. v = 2, 1 Oder 0) der virtuellen Obertragungskanale (CH...(v)) den einzelnen vir- 
tuellen Verbindungskanalen (K(w)) uberlagert werden. 



Claims 

1. Multiprocessor system with common memory which is divided into a plurality of individually addressable 
memory units to which the individual processors have access via a communication system for the ex- 
change of data and control information, characterized 

- in that the communication system (VN) comprises a plurality of connection nodes (VK...) to which in 
each case at least one processor (CPU...) and/or one memory unit (MU...) and/or one input/output 
unit (IOP...) are connected via individual bidirectional transmission channels (CH...), 

- in that the individual connection nodes (e.g. VK1) are connected in accordance with a predetermined 
network structure via bidirectional connection channels (K...) as transmission channels (CH...) to 
other connection nodes (e.g. VK2) of the communication system (VN), so that transmission paths 
between each one of the connection nodes and an arbitrary second connection node as a destination 
in the communication system can be established over one or more transmission channels operating 
in series on the basis of the destination address contained in the respective control information, 

- in that to avoid system deadlocks, virtual transmission channels (CH...(v)) having different priority 
ratings (e.g. v = 2, 1 or 0) are assigned to the individual physical transmission channels (CH...), and 
in each case a single permitted transmission path along a chain of the virtual transmission channels 
formed which was predetermined in accordance with a loop-free dependency graph is used for es- 
tablishing a connection between two units at different connection nodes, and 

- in that the transmission path to be established in each case between two units (e.g. M1 and P2) runs 
over virtual transmission channels having the same priority rating (e.g v = 0). 

2. Multiprocessor system according to Claim 1 , characterized in that the selection of the respective priority 
rating (v) of the virtual transmission channels (CH...(v)) forming a transmission path depends solely on 
the type of instruction to the destination unit (e.g. M...) for which the respective transmission path has 
been established. 

3. Multiprocessor system according to Claim 2, characterized in that in the case of follow-up instructions, 
which were initiated by a primary instruction (e.g. read) to one destination unit (e.g. M...), for further des- 
tination units (e.g. CA..., CPU...) for executing the primary instruction, in each case virtual transmission 
channels having a priority rating altered according to a predetermined scheme are used for every resulting 
new transmission path. 

4. Multiprocessor system according to Claim 3, characterized in that primary instructions (read, write) are 
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only ever directed from operative units (processor CPU..., input/output unit IOP...) to memory units (M...) 
of the distributed memory system and routed via virtual transmission channels having the lowest priority 
rating (e.g. v = 2), whereas in each case virtual transmission channels having a higher priority rating (e.g. 
v = 1 or v = 0) are used for every further transmission path for executing a follow-up instruction, with the 
5 operative units (CPU..., IOP...) requesting the read data being ready to receive the read data at all times. 

5. Multiprocessor system according to Claim 4, characterized in that if individual cache memories (CA...) con- 
nected so as to precede the processors (CPU...) are used, a primary instruction for reading data from 
one of the memory units (e.g. M2) located in an individual cache memory (e.g. CA1) triggers a first follow- 
to up instruction which forwards the read request to the responsible cache memory (CA1) that can be in- 
terrupted at any time, and at least one follow-up instruction which forwards the desired data to the re- 
questing unit (e.g. IOP2), and in that the memory unit (M2) accepting a read instruction in each case is 
blocked from accepting further primary instructions until the transmission of the data to the requesting 
unit (IOP2) has been ensured. 

15 

6. Multiprocessor system according to Claim 5, characterized in that, in the course of a separate follow-up 
instruction, the data to be forwarded to the requesting unit (e.g. IOP2) are forwarded from the responsible 
cache memory (e.g. CA1) first to the responsible memory unit (e.g. M2) and then from there to the re- 
questing unit (IOP2), in that the memory unit (M2) carrying out the read instruction is released for accept- 

20 ing further primary instructions in each case after the assignment of the data for the requesting unit (IOP2) 

has been ensured, and in that virtual transmission channels having the same priority rating (e.g. v = 0) 
are used for the last two transmission paths. 

7. Multiprocessor system according to Claim 5, characterized in that the data to be forwarded to the request- 
25 ing unit (e.g. IOP2) are forwarded from the responsible cache memory (e.g. CA1 ) directly to the requesting 

unit (IOP2), and in that the memory unit (e.g. M2) carrying out the associated read instruction is notified 
by means of a separate message of the transmission of the data to the requesting unit (IOP2) and as a 
result the existing blocking of the acceptance of further primary instructions is removed again. 

30 8. Multiprocessor system according to Claim 7, characterized in that the separate message is sent in the 
form of a follow-up instruction to the responsible memory unit (e.g. M2) t and in that virtual transmission 
channels (CH...(v)) having the same priority rating (e.g. v = 0) as for the transmission path for forwarding 
the data to the requesting unit (e.g. IOP2) are used for this transmission path. 

35 9. Multiprocessor system according to Claim 7, characterized in that the separate message is sent to the 
responsible memory unit (e.g. M2) via a separate network. 

10. Multiprocessor system according to Claim 8 or 9, characterized in that the separate message is sent out 
from the cache memory (e.g. CA1 ) forwarding the data to the requesting unit (e.g. IOP2). 

40 

11. Multiprocessor system according to Claim 8 or 9, characterized in that the separate message is sent out 
from the requesting unit (e.g. IOP2) receiving the data. 

12. Multiprocessor system according to one of Claims 4 to 11, characterized in that all data transfers in the 
45 course of follow-up instructions take place over virtual channels (CHi(v)) having the highest priority rating 

(e.g. v = 0). 

13. Multiprocessor system according to one of Claims 1 to 12, characterized in that every message arriving 
on a virtual transmission channel (e.g. CHi(v)) at a connection node (VK...) is transferred into a buffer 

50 memory assigned to the virtual channel, the outgoing virtual transmission channel (e.g. CHj(v)) to be oc- 

cupied is determined on the basis of the control information also carried, and the message is forwarded 
when the required outgoing channel (CHj(v)) is free. 

14. Multiprocessor system according to Claim 13, characterized in that messages are divided into parts having 
55 constant lengths and each message is preceded by control information (FLIT...(v)) having the length of a 

message part, all parts being continuously sent out in sequence from the respective starting point of a 
transmission path, and the end of the message being specifically marked (with EOT), and in that the in- 
dividual parts of the message are forwarded from connection node (VK...) to connection node (VK...) via 
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the respective buffer memory on the basis of the preceding control information (FLIT...(v)) until the end 
point of the transmission path is reached. 

15. Multiprocessor system according to Claim 14, characterized in that if an occupied transmission channel 
is encountered, the further transmission of message parts and their forwarding is halted until the required 
channel is free. 

16. Multiprocessor system according to Claim 14, characterized in that if an occupied transmission channel 
is encountered, the transmission of the entire message is repeated from the starting point of a transmis- 
sion path. 

17. Multiprocessor system according to Claim 16, characterized in that only the reaching of the end point of 
a transmission path is confirmed by an acknowledgement (ACK...(v)) to the respective starting point, in 
that if this acknowledgement has not arrived by a predetermined time after the beginning of a transmis- 
sion, the transmission of the entire message is automatically repeated, and in that all the virtual trans- 
mission channels (CH...(v)) occupied in the course of a transmission path to be established remain oc- 
cupied until the acknowledgement (ACK...(v)) has arrived from the end point, whereas the respective as- 
sociated physical transmission channels (CH...) are only occupied until the flag (EOT) indicating the end 
of the message has been received and forwarded to the respective next transmission channel. 

18. Multiprocessor system according to one of Claims 13 to 17, characterized in that coupled to the control 
information (FLIT...(v)) of a message is a flag (REQ...(v)) indicating the priority rating (v) of the respective 
virtual transmission channel (CHi(v)) used, which flag ensures the assignment of the control information 
and messages transmitted on the physical transmission channels (CH...) to the individual virtual trans- 
mission channels (CH...(v)). 

1 9. Multiprocessor system according to Claim 1 8. characterized in that the flag (REQ...(v)) specifying the pri- 
ority rating is transmitted on separate signalling lines parallel to the control information (FLIT...(v)) of a 
message and initiates as a request signal the path selection in the respective connection node (VK...) 
reached. 

20. Multiprocessor system according to Claim 18 or 19, characterized 

- in that a number (3) of selection devices (CHSEL-ST(v)) corresponding to the number (e.g. 3) of as- 
sociated virtual channels (CH...(v), where v = 2, 1 or 0) is provided for each physical transmission 
channel (CH...) arriving at a connection node (VK...), the appropriate one of which selection devices 
being selected in each case on the basis of the flag (REQ...(v)) specifying the priority rating (v), 

- in that the selection device (e.g. CHSEL-ST(vO)) selected in each case generates a virtual path signal 
(CHSELij(v)) on the basis of the destination address (ZVKAD, UNAD) contained in the control infor- 
mation, which path signal indicates the respective incoming channel (CHi(v)) and the respective out- 
going transmission channel (CHj(v)) to be connected thereto, 

- in that all virtual path signals (CHSEL(i)(j)(v)) generated in this way are passed to a shared priority 
controller (PRIO-ST) which determines for each outgoing free transmission channel (CHj(v)) the in- 
coming channel (CHi(v)) with the highest priority to be switched through to it, and in that on the basis 
of the result (REQij) then stored, the associated physical transmission path for the transmission is 
released with simultaneous blocking of all other path signals (CHSEL(i) 0) (v)) relating to the same 
outgoing virtual transmission channel (CHj(v)). 

21 . Multiprocessor system according to one of Claims 1 to 20. characterized in that faulty connection channels 
(K...) between connection nodes (VK...) are taken into account during the respective generation of the 
path signals (CHSEL(i) (j) (v)) in the individual connection nodes. 

22. Multiprocessor system according to one of Claims 1 to 21 , characterized in that channel assignments be- 
tween individual connection nodes caused by various possible configurations of the multiprocessor sys- 
tem are taken into account by a switchover controller (UST) dependent on the configuration when the vir- 
tual path signals (CH(i) (j) (v)) are generated in the individual connection nodes (VK...). 

23. Multiprocessor system according to one of Claims 1 to 22, characterized in that given a plurality of physical 
connection channels (K...) between two neighbouring connection nodes (VK...), the different virtual trans- 
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mission channels (CH...(v)) are assigned to different physical connection channels. 

24. Multiprocessor system according to one of Claims 1 to 23, characterized in that the connection nodes 
(VK...) form corner points of an n-dimensional Boolean cube having n connection channels at each con- 

5 nection node (VK...), in that every connection node is characterized by a binary address (e.g. 001) com- 

prising n bits in each case, with each bit position corresponding to one coordinate (e.g. x or y or z) and 
consequently to one connection channel (e.g. Kx or Ky or Kz) of the n-dimensional system, and in that, 
for selecting an outgoing connection channel in the course of establishing a transmission path, in each 
case the bit positions of the destination address (e.g. 2VKAD =101) are compared with those of the re- 

10 spective node (e.g. VKAD = 000), whereby, given a predetermined ranking of the bit positions, in each 

case the highest ranking one of the bit positions that deviate from one another determines the connection 
channel (e.g. Kx) to be selected. 

25. Multiprocessor system according to one of Claims 1 to 23, characterized in that in the case of connection 
15 networks (VN) in which ensuring deadlock-free traffic between the individual connection nodes (VK...) 

necessitates an operation of the connection channels (K...) as virtual channels (K(w)), and the establish- 
ment of a transmission path between each possible pair of connection nodes is carried out in accordance 
with a predetermined path seeking algorithm based on the use of virtual connection channels, the instruc- 
tion-related priority ratings (e.g. v = 2, 1 or 0) of the virtual transmission channels (CH...(v)) are overlaid 
20 on the individual virtual connection channels (K(w)). 



Revendications 



1. Systeme multiprocesseur d memoire commune, qui est subdivisee en plusieurs unites de memoire pou- 
vant etre commandees individuellement etauxquelles les differents processeurs peuvent acceder par I'in- 
termediaire d'un systeme de communication pour I'echange de donnees et d'informations de commande, 
caracterise par le fait 

- que le systeme de communication (VN) est constitue par plusieurs noeuds de liaison (VK...), aux- 
quels respectivement au moins un processeur (CPU...) et/ou une unite de memoire (MU...) et/ou une 
unite d'entree/sortie (IOP...) sont raccordes par I'intermediaire de canaux de transmission individuels 
bidirectionnels (CH...), 

- que les differents noeuds de liaison (par exemple BKI) sont relies, en fonction d'une structure pre- 
determinee du reseau, par I'intermediaire de canaux de liaison bidirectionnels (K...) en tant que ca- 
naux de transmission (CH...), £ d'autres noeuds de liaison (par exemple VK2) du systeme de commu- 
nication (VN) de sorte que des voies de transmission entre chacun des noeuds de liaison et un se- 
cond noeud de liaison quelconque en tant que destination peuvent Stre etablies dans le systeme de 
communication par I'intermediaire d'un ou de plusieurs canaux de transmission travaillant en serie, 
sur la base de I'adresse de destination contenue dans reformation de commande respective, 

- que pour eviter des blocages du systeme, des canaux virtuels de transmission (CH...(v)) possedant 
des rangs differents de priorite (par exemple v = 2, 1 ou 0) sont associes aux differents canaux de 
transmission physiques (CH...) et que pour I'etablissement d'une liaison entre deux unites situees 
dans des noeuds de liaison differents, on utilise respectivement une seule voie de transmission au- 
torisee qui s'etend le long d'une chaine, predeterminee conformement d un graphe de dependance 
sans boucle, des canaux de transmission virtuels formes, et 

- que la voie de transmission qui doit etre etablie respectivement entre deux unites (par exemple M1 
et M2), passe par des canaux de transmission virtuels ayant le meme rang de priorite (par exemple 
v = 0). 



2. Systeme multiprocesseur suivant la revendication 1 , caracterise par le fait que le choix du rang de priorite 
(v) des canaux de transmission virtuels (CH...(v)), qui forment une voie de transmission, depend unique- 
ment du type de I'ordre concernant I'eteblissement de la voie de transmission et envoye & I'unite de des- 
tination (par exemple M...). 

3. Systeme multiprocesseur suivant la revendication 2, caracterise par le fait que dans le cas d'ordres suc- 
cessifs, declenches par un ordre primaire (par exemple lecture) applique d une unite de destination (par 
exemple M...), pour d'autres unites de destination (par exemple CA..., CPU...), pour executer I'ordre pri- 
maire pour chaque nouvelle voie de transmission conditionnee de ce fait, on utilise respectivement des 
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canaux de transmission virtuels ayant un rang de priority modif ie conformement d un schema predeter- 
mine. 

Systeme multiprocesseur suivant la revendication 3, caracterise par le fait que des ordres primaires (lec- 
ture, enregistrement) sont transmis toujours uniquement par des unites operationnelles (processeur 
CPU...) d'une unite d'entree/de sortie (IOP...) £ des unites de memoire (M...) du systeme de memoire dis- 
tribue et sont transmises, par I'intermediaire de canaux de transmission virtuels ayant le rang de priorite 
le plus faible (par exemple v = 2), tandis que pour chaque autre voie de transmission pour I'execution 
d'un ordre suivant, on utilise respectivement des canaux de transmission virtuels ayant un rang de priorite 
plus eleve (v = 1 ou v = 0), les unites operationnelles (CPU..., IOP...) qui demandent des donnees de lec- 
ture etant pretes 6 tout moment pour (a reception des donnees de lecture. 

Systeme multiprocesseur suivant la revendication 4, caracterise par le fait que dans le cas de f'utilisation 
d'antememoires individuelles (CA...), branchees en amont des processeurs (CPU...), un ordre primaire 
pour la lecture de donnees d partir de Tune des unites de memoire (par exemple M2), qui sont situees 
dans une antememoire individuelle (par exemple CA1), declenche un premier ordre suivant retransmet- 
tant la demande de lecture k ('antememoire concernee (CA1), qui peut etre deconnectee & tout moment, 
et au moins un ordre suivant retransmettant les donnees desirees d I'unite demandeuse (par exemple 
IOP2), et que I'unite de memoire (M2), qui repoit respectivement un ordre de lecture, est bloquee, pour 
la reception d'autres ordres primaires, jusqu'a ce que soit garantie la transmission des donnees a I'unite 
demandeuse (IOP2). 

Systeme multiprocesseur suivant la revendication 5, caracterise par le fait que les donnees devant §tre 
retransmises d I'unite demanderesse (par exemple IOP2 ) sont retransmises par I'antememoire concer- 
nee (par exemple CA1) dans le cadre d'un ordre suivant particulier, uniquement d I'unite de memoire 
concernee (par exemple M2) et ensuite, d partir de l&, & I'unite demanderesse (IOP2), que I'unite de me- 
moire (M2), qui execute I'ordre de lecture, est liberee respectivement apres qu'ait ete garantie I'associa- 
tion des donnees pour I'unite demanderesse (IOP2) pour la reception d'autres ordres primaires, et qu'on 
utilise des canaux de transmission virtuels ayant un meme rang de priorite (par exemple v = 0) pour les 
deux dernieres voies de transmission. 

Systeme multiprocesseur suivant la revendication 5, caracterise par le fait que les donnees devant §tre 
retransmises d I'unite demanderesse (par exemple IOP2) sont retransmises directement de I'antememoi- 
re concernee (par exemple CA1) 3 I'unite demanderesse (IOP2) et que I'unite de memoire (par exemple 
M2), qui execute I'ordre de lecture associe signale, par une information particuliere, la transmission des 
donnees a I'unite demanderesse (IOP2) et, sur la base de cette information, le blocage existant pour la 
reception d'autres ordres primaires est d nouveau supprime. 

Systeme multiprocesseur suivant la revendication 7, caracterise par le fait que I'information particuliere 
est emise sous la forme d'un ordre suivant £ I'unite de memoire associee concernee (par exemple M2) 
et que pour cette voie de transmission, on utilise des canaux de transmission virtuels (CH...(v)) possedant 
le meme rang de priorite (par exemple v = 0) que pour la voie de transmission pour la retransmission des 
donnees d I'unite demanderesse (par exemple IOP2). 

Systeme multiprocesseur suivant la revendication 7, caracterise par le fait que I'information particuliere 
estenvoyee, par I'intermediaire d'un reseau particulier, d I'unite de memoire associee (par exemple M2). 

Systeme multiprocesseur suivant la revendication 8 ou 9, caracterise par le fait que I'information particu- 
liere est emise par I'antememoire (par exemple CA1 ), qui retransmet les donnees d I'unite demanderesse 
(par exemple IOP2). 

Systeme multiprocesseur suivant la revendication 8 ou 9, caracterise par le fait que I'information particu- 
liere est emise par I'unite demanderesse (par exemple IOP2), qui repoit les donnees. 

Systeme multiprocesseur suivant I'une des revendications 4 3 11, caracterise par le fait que tous les trans- 
ferts de donnees se deroulent dans le cadre d'ordres successifs par I'intermediaire de canaux virtuels 
(CH(iv)) possedant le rang de priorite maximum (par exemple v = 0). 
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13. Systeme multiprocesseur suivant Tune des revendication 1 a 12, caracterise par le fait que chaque infor- 
mation qui arrive dans un canal de transmission virtuel (par exemple CHi(v)) a un noeud de liaison (VK), 
est transferee dans une memoire tampon qui estassociee au canal virtuel, que le canal de transmission 
virtuel de depart qui doit etre occupe (par exemple CHj(v)), est determine sur la base de reformation de 
commande transmise conjointement et que reformation est retransmise lorsque le canal de depart ne- 
cessaire (CHj(v)) est libre. 

1 4. Systeme multiprocesseur suivant la revendication 1 3, caracterise par le fait que des informations sont sub- 
divisees en des parties de longueur constante et que chaque information est precedee par une information 
de commande (FLIT...(v)) sur I'etendue en longueur d'une partie d'informations, toutes les parties etant 
emises de facon continue successivement a partir du point de depart respectif d'une voie de transmission 
et que la fin de reformation est caracterisee de facon particuliere (avec EOT), etque les differentes par- 
ties de reformation sont retransmises sur la base de reformation de commande precedente (FLIT...(v)) 
d'un noeud de liaison (VK...) a un noeud de liaison (VK...) autre, par I'intermediaire de la memoire tampon 
respective, jusqu'a ce que le point d'extremite de la voie de transmission soit atteint 

1 5. Systeme multiprocesseur suivant la revendication 14, caracterise par le fait que lorsqu'un canal de trans- 
mission occupe est atteint, la poursuite de remission de parties deformations et leur retransmission sont 
arretees jusqu'a ce que le canal necessaire devienne libre. 

16. Systeme multiprocesseur suivant ia revendication 14, caracterise par le fait que lorsqu'un canal de trans- 
mission occupe est atteint, remission de ('information totale est repetee a partir du point de depart d'une 
voie de transmission. 

17. Systeme multiprocesseur suivant la revendication 16, caracterise par le fait que seul le fait que le point 
d'extremite d'une voie de transmission est atteint est conf irme au point de sortie respectif par une signa- 
lisation en retour (ACK...(v)), qu'en I'absence de cette signalisation en retour et jusqu'au bout de recou- 
pment d'un intervalle de temps predetermine apres le debut d'une emission, remission de I'ensemble de 
1'information est repetee automatiquement et que tous les canaux de transmission virtuels (CH...(v)) oc- 
cupes dans le cadre d'une voie de transmission devant etre etabiie, restent occupes jusqu'a ce que la 
signalisation en retour (ACK...(v)) soit arrivee a partir du point d'extremite, tandis que les canaux de trans- 
mission physiques respectivement associes (CH...) restent occupes uniquement jusqu'a ce que le signal 
caracteristique (EOT) indiquant la fin de reformation soit recu et soit retransmis au canal de transmission 
respectivement suivant. 

8. Systeme multiprocesseur suivant I'une des revendications 13a 17, caracterise par le fait qu'a reformation 
de commande (FLIT...(v)) d'une information est couple un signal caracteristique (REQ...(v)) qui indique 
le rang de priorite (v) du canal de transmission virtuel utilise (CHi(v)), que I'association des informations 
de commande et des messages, transmis dans les canaux de transmission physiques (CH...), aux canaux 
de transmission virtuels individuels (CH...(v)), est garantie. 

9. Systeme multiprocesseur suivant la revendication 18, caracterise par le fait que le signal caracteristique 
(REQ...(v)) qui fixe le rang de priorite, est transmis dans des lignes particulieres de transmission de si- 
gnaux parallelement a reformation de commande (FLIT...(v) d'un message et que la selection de la voie 
d'acheminement dans le noeud de liaison (VK...) respectivement atteint est declenchee en tant que signal 
de demande. 

0. Systeme multiprocesseur suivant la revendication 18 ou 19, 
caracterise par le fait 

- que pour chaque canal de transmission physique (CH...) qui arrive dans un noeud de liaison (VK...), 
il est prevu un nombre (3), qui correspond au nombre (par exemple 3) des canaux virtuels associes 
(CH...(v) avec v = 1, 2 ou 0), de dispositifs de selection (CHSEL-ST(v)) parmi lesquels le dispositif 
respectivement concerne est selectionne sur la base du signal caracteristique (REQ...(v)) qui fixe le 
rang de priorite (v) f 

- que le dispositif de selection respectivement selectionne (par exemple CHSEL-ST(vO)) produit, sur 
la base de I'adresse de destination (ZVKAD. UNAD), contenu dans reformation de commande, un 
signal virtuel de voie de transmission (CHSELij(v)) qui caracterise le canal respectivement arrivant 
(CHi(v)) et le canal de transmission de depart (CHj(v)) qui doit etre relie respectivement a ce canal, 
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- que tous les signaux virtuels de voie de transmission (CHSEL(i)(j)(v)) produits de cette maniere sont 
envoyts d une unite commune de commande de priority (PRIOST) qui determine, pour chaque canal 
de transmission de depart libre (CHj(v)) le canal d'arrivee (CHi(v)) f devant §tre interconnecte d ce 
canal et qui possede la priority maximale, et que. sur la base du resultat (REQij) alors memorise, la 
voie de transmission physique assoctee est Iib6ree pour la transmission moyennant un blocage si- 
multane de tous les autres signaux de voie (CHSEL(i)(j)(v)) concernant le meme canal de transmis- 
sion virtuel de depart (CHj(v)). 

Systeme multiprocesseur suivant Tune des revendications 1 a 20, caract6ris6 par le fait que des canaux 
de liaison perturbes (K...) entre des noeuds de liaison (VK...) sont pris en compte lors de la production 
respective des signaux de voie de transmission (CHSEL(i)(j)(v)) dans les differents noeuds de liaison. 

Systeme multiprocesseur suivant Tune des revendications 1 a 21, caracterise par le fait que des affecta- 
tions de canaux, qui sont conditionnees pardifferentes configurations possibles du systeme multiproces- 
seur, entre differents noeuds de liaison sont pris en compte par I'unite de commande de commutation 
(UST) qui depend de la configuration, lors de la production des signaux virtuels de voie de transmission 
(CH(i)(j)(v)) dans les differents noeuds de liaison (VK...). 

Systeme multiprocesseur suivant Tune des revendications 1 a 22, caracterise par le fait que dans le cas 
de plusieurs canaux de liaison physiques (K...) entre deux noeuds de liaison voisins (VK...), les differents 
canaux de transmission virtuels (CH...(v)) sont assoctes a differents canaux de liaison physiques. 

Systeme multiprocesseur suivant Tune des revendications 1 £ 23, caracterise par le fait que les noeuds 
de liaison (VK...) forment des sommets d'un cube booleen & n dimensions, comportant n canaux de liaison 
dans chaque noeud de liaison (VK...), que chaque noeud de liaison est caracterise par une adresse binaire 
(par exemple 0,01) constitute respectivement de n bits, chaque position binaire correspondant d une 
coordonnee (par exemple x ou y ou z) et par consequent & un canal de liaison (par exemple Kx ou Ky ou 
Kz) du systeme n dimensions, et que pour la selection d'un canal de liaison de depart, dans le cadre de 
I'Stablissement d'une voie de transmission, respectivement les positions binaires de I'adresse de desti- 
nation (par exemple ZKAD = 101) sont compares £ celles du noeud respectif (par exemple VKAD = 000), 
auquel cas pour une succession ordonn6e pr6d6termin6e des positions binaires, respectivement la po- 
sition binaire de rang maximum parmi les positions binaires, qui different entre elles, determine le canal 
de liaison devant etre s6lectionne (par exemple Kx). 

Systeme multiprocesseur suivant Tune des revendications 1 a 23, caracterise par le fait que dans le cas 
de reseaux de liaison (VN), dans lesquels I'assurance d'un traf ic sans blocage entre les differents noeuds 
de liaison (VK...) requiert un fonctionnement des canaux de liaison (K...) en tant que canaux virtuels 
(K(w)) et I'etablissement d'une voie de transmission entre les noeuds de liaison de chaque couple pos- 
sible de noeuds de liaison s'effectue en fonction d'un algorithme predetermine de recherche de voies 
d'acheminement, qui est base sur I'utilisation de canaux de liaison virtuels, les rangs de priorite (par exem- 
ple v = 2, 1 ou 0), qui sont rapportes aux ordres des canaux de transmission virtuels (CH...(v)), sont super- 
posts aux difftrents canaux de liaison virtuels (K(w)). 
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